- 首先要先安裝Transformers套件。
- 再來要登入HuggingFace Hub。(需先取得Hugging Face的Token)
- 接著我們要選擇欲使用的開源AI模型,本次將以Llama-3.2-3B-Instruct作為示範。(此模型需要先去HuggingFace簽署使用者同意書)
執行以上程式碼後,我們會從Hugging Face Hub下載tokenizer和model兩個物件。
tokenizer紀錄了模型所使用的token,而model則儲存了模型的參數。
成功導入我們要的LLM後,下一篇我們就要來了解LLM是怎麼學會語言的?